Title: Psychology / Diagnostik II / 06_BeobachterübereinstimmungII_1

Q: Was sind 2 Besonderheiten der "normalen" Korrelation, wenn sie als Maß der Beobachterübereinstimmung bei diskreten Daten mit geordneten Kategorien oder kontinuierlichen Daten eingesetzt wird?
A: Geht nur für genau 2 Rater
Justiert, nur Rangreihe wird bestraft

Q: Wie unterscheiden sich justierte und unjustierte Maße für diskrete Daten mit geordneten Kategorien oder kontinuierliche Daten?
A: Justiert: Nur Einhaltung der Rangreihe wird bewertet
Unjustiert: Absolute Übereinstimmung wird bewertet

Q: Welche 2 Maße werden typischerweise für Beobachterübereinstimmung bei diskreten Daten mit geordneten Kategorien oder kontinuierlichen Daten eingesetzt?
A: "Normale" Korrelation
Intra-Klassen-Korrelation (ICC)

Q: Wofür werden bei der ICC jeweils einfaktorielle bzw zweifaktorielle varianzanalytische Modelle eingesetzt?
A: Einfaktoriell: Rater(strenge)unterschiede werden NICHT modelliert (sind dann in sigma^2_e enthalten)
Zweifaktoriell: Rater(strenge)unterschiede werden explizt modelliert (sigma^2_rater)

Q: Was ist der (theoretische) Wertebereich der ICC?
A: 0 bis 1

Q: Wie sind ICC=0 und ICC=1 zu interpretieren (Reliabilität)?
A: ICC = 0: Varianz ist ausschließlich auf Messfehler zurückzuführen (keine Reliabilität)
ICC = 1: Varianz ist ausschließlich auf wahre Werte zurückzuführen (perfekte Reliabilität)

Q: Ab wann kann man von einer "guten" ICC sprechen?
A: 0.60 - 0.74

Q: Welche 3 Varianzquellen kann man bei der ICC unterscheiden?
A: Wahre Unterschiede
Raterunterschiede (optional)
Fehler (der Rater)

Q: Wie wird bei varianzanalytischen ICCs die Fehlervarianz sigma^2_e geschätzt?
A: Quadrierte Abweichung der Ratings für eine Person vom jeweiligen wahren Wert derselben Person (Durchschnitt aller Rater), gemittelt über alle Personen
mqs_innerhalb

Q: Wie wird bei varianzanalytischen ICCs die Varianz der wahren Werte sigma^2_tau geschätzt (wahre Unterschiede zwischen den Personen)?
A: Quadrierte Differenz der Raterdurchschnitte der einzelnen Personen und dem Populationsmittelwert, gemittelt über alle Personen
mqs_zwischen

Q: Wie wird bei varianzanalytischen ICCs die Varianz der Rater sigma^2_rater geschätzt/berechnet (Raterunterschiede)?
A: Für jeden Rater wird der Mittelwerte der Ratings über alle Personen berechnet
Dann: Quadrierte Differenz dieses Wertes vom Gesamtmittelwert der Rater (mittelwert aus obigen Werten), gemittelt über alle Rater
mqs_rater

Q: Welche 2 Szenarien, in denen man ICCs wählen muss, unterscheidet man?
A: 1. Man kann die Situation der Datenerhebung noch gestalten
- Wahl der ICC je nach Aussage
2. Die Situation oder die Daten sind bereits gegeben
- Eingeschränkte Entscheidung, welche ICCs möglich sind

Q: Welche 4 Entscheidungen sind bei der Wahl des ICC zu treffen?
A: 1-faktoriell vs 2-faktoriell (Raterunterschiede modellieren?)
random vs fixed (Raterpopulation oder nur untersuchte Rater)
unjustiert vs justiert
single vs average (Reliabilität von einem Rater oder gemittelt über mehrere?)

Q: Eine 2-faktorielle ICC kann nur berechnet werden, wenn [...].
A: jede Person von jedem Rater beobachtet bzw. bewertet wurde

Q: Was ist der Unterschied zwischen einer "Random" ICC und einer "Fixed" ICC?
A: Fixed: Nur die untersuchten Rater sind von Interesse
Random: Man kann die Ergebnisse hinsichtlich der Ratervarianz auf eine Population von Ratern generalisieren (Rater sind eine "repräsentative" Stichprobe aus einer Population von Ratern)

Q: Da sich die Unterscheidung random/fixed auf die Ratervarianz bezieht, unterscheiden sich nur [...] ICCs in dieser Eigenschaft.
A: 2-faktorielle

Q: Justiert/Unjustiert: Dieser Unterschied kann als Entscheidung nur bei [...] ICCs einfließen, eine [...] ICC ist immer unjustiert.
A: 2-faktoriellen; 1-faktorielle

Q: Was ist der Unterschied zwischen einer "Single" ICC und einer "Average" ICC?
A: Single: Wie gut ist die Übereinstimmung eines Ureils mit dem von anderen Ratern?
Average: Wie messgenau ist das gemittelte Urteil mehrerer Rater?
(diese Unterscheidung ist für alle ICCs möglich)

Q: Wie hängen ICCs und die Merkmalsvarianz der Stichprobe zusammen?
A: Eine geringe Merkmalsvarianz in der Stichprobe geht mit einer geringen ICC einher (bei gleichbleibender Schätzung der Fehlervarianz)

Q: Welche Eigenschaften hat das ICC Modell 1 nach Shrout & Fleiss (1979)?
A: 1-faktoriell
(folglich auch unjustiert)

Q: Welche Eigenschaften hat das ICC Modell 2 nach Shrout & Fleiss (1979)?
A: 2-faktoriell
unjustiert
random

Q: Welche Eigenschaften hat das ICC Modell 3 nach Shrout & Fleiss (1979)?
A: 2-faktoriell
justiert
fixed

Q: Wofür stehen A und B bei ICC(A,B)?
A: A: Welches Modell nach Shrout & Fleiss (1979)
B: 1 = Single, k = Average (Anzahl der Ratings, aus denen der Mittelwert gebildet wurde)

Q: Mit was ist ICC(3,k) äquivalent?
A: Cronbachs Alpha

Q: ICCs sind ein Maß für die Beobachter-/Beurteilerübereinstimmung bei [...].
A: diskreten
Daten mit geordneten Kategorien und kontinuierlichen Daten

Q: Für die Berechnung der ICC wird die beobachtete Varianz in den Bewertungen
auf verschiedene [...] aufgeteilt.
A: Varianzquellen

Q: Dadurch, dass die Varianz der wahren Werte auch geschätzt wird, können ICCs
als [...] herangezogen werden.
A: Schätzung für die Reliabilität der Beurteilung